IV. 2 - Avalia^ao Preditiva 



IV - Avaliacao 

IV. 1 - Avaliacao por Peritos 
(Avaliacao Heuristica) 

Exercicio Pratico 



Resumo Aula Anterior 



• Avaliacao Heuristica 

- e facil, e barata, da milhoes 

- N° de Avaliadores (3-5) 

- Heuristicas de Usabilidade 

• Fases da Av. Heuristica 

- Treino; Avaliacao; Atribuir Severidades; Relatar 

• Analisar se conforme as heuristicas 

- Anotar nao conformidade (onde, qual, porque ?) 

• Combinar resultados da avaliacao + severidades 
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Sumario 



• Exercicio de Avaliagao Heuristica 

• Consolidagao de Avaliagoes 

• Modelos para Avaliagao Preditiva 
- Hierarquia de Objectivos e Tarefas 

• GOMS e CCT 

-Modelos Fisicos e de Dispositivos 

• KLM 
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Heuristicas de Usabilidade 



H2-1 - Tornar estado do sistema visivel 

H2-2 - Falar a linguagem do utilizador 

H2-3 - Utilizador controla e exerce livre-arbitrio 

H2-4 - Consistencia e Aderencia a Normas 

H2-5 - Evitar Erros 

H2-6 - Reconhecimento em vez de lembranca 

H2-7 - Flexibilidade e Eficiencia 

H2-8 - Desenho de ecra estetico e minimalista 

H2-9 - Ajudar utilizador a reconhecer, diagnosticar 

e recuperar dos erros 
H2-10 - Dar Ajuda e Documentacao 
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Graus de Severidade 



- nao ha consenso quanta a problema de 
usabilidade 

1 - problema cosmetico 

2 - problema menor 

3 - problema importante de usabilidade - corrigir 

4 - CATASTROFE de usabilidade - imperativo 
corrigir! 
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Como Identificar um Problema 




1. Morada da empresa demasiado destacada 

• H2-4 - Consistencia e Aderencia a Normas 
H2-8 - Desenho de ecra estetico e minimalista 

• Descricao: Os contactos da empresa estao demasiado destacados 
entrando em conflito com o proprio titulo da pagina. Por outro lado, 
nao estao num lugar esperado ou normativo. 

• Correccao: Colocar morada no fundo da pagina a direita e com uma 
fonte mais pequena, ou colocar um logotipo com elo para uma pagina 
adiciona! com esta e outras informacoes da empresa. 

• Severidade: 2 
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Agrupamento de Avaliacdes 



Imaginem que: 

-O vosso prototipo foi avaliado por 3 
avaliadores 

-Cada um deles enviou-vos um relatorio 
com a lista de violacoes (Heuristicas 
+ Descricao+Correccao+ Severidade) 

- Como se junta tudo? 
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Agrupamento de Avaliacdes 


i. 


Identificar 
relatorios 


problemas iguais em varios 




- Converter 


num so problema 




- Juntar as 


descrigoes numa mais completa 




- Escolher c 


severidade mais alta 


2. 


Sumarizar 


n° de violacoes por Heuristica 


3. 


Sumarizar 


n° de violacoes por Severidade 
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Problemas Iguais (Ex.) 



Relatorio 1: 

- Nomes diferentes para operagao Guardar 

• H2-4: Consistencia 

• Descricao: A interface usa "Salvaguardar" no primeiro ecra para salvaguardar 
ficheiro do utilizador, mas usa "Guardar Ficheiro"em ecras subsequentes. 

• Correccao: Definir uma terminologia e usa-la sempre. 

• Severidade: 3 

Relatorio 2: 

- Nomes diferentes para botao Guardar 

• H2-4: Consistencia 



Correccao: Usar sempre o mesmo. 
Severidade: 2 
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Violacoes por Heurfstica e Severidade 



Heuristica 


Frequencia 


H2-1 


3 


H2-2 


6 






H2-10 


2 


Total 


25 



Severidade 



Total 



Frequencia 



25 
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AH vs. Teste com Utilizadores 



• AH e muito mais expedita 

- 1-2 horas por avaliador vs. dias-semanas 

• AH nao requer interpretacao das acgoes 
utilizador 

• Teste com utilizadores e muito mais preciso 

- Considera utilizadores e tarefas "reais" 

- AH pode ignorar problemas ou indicar "falsos 
positivos" 

• Boa ideia alternar entre AH e teste com 
utilizadores 

- identificam problemas diferentes 

- desperdica menos recursos (participantes) 



- Avaliagao Preditiva 
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IV - Avaliagao 
IV.2 - Avaliagao Preditiva 

HCI, Cap. 12, Alan Dix 



Interactive System Design, Cap. 8, 
William Newman 



Ayaliagao de Usabilidade 



Testa a usabilidade e funcionalidade do 
sistema 

Metodos Analiticos: 

- Avaliagao Heuristica (Avaliagao por peritos) 
-Avaliagao Preditiva 

• GOMS, CCT e KLM 



• Metodos EmpiriCOS (Avaliacao com utilizadores): 
- Requer um prototipo funcional 
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Porque Ayaliagao Preditiva 



• Nenhuma empresa constroi um aviao 
sem primeiro fazer uma analise de 
Eng. para prever o seu desempenho. 
-O custo de construcao e o risco de 

falhar sao muito elevados 

• Do mesmo modo, o custo de 
construir uma IU e testa-la com 
varios utilizadores ate descobrir 
todos os problemas e inaceitavel. 
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Modelos Preditivos 



• Sao rapidos e informais 

• Permitem avaliagao de produtos sem 
envolver os utilizadores 

• Modelos cognitivos dos utilizadores sao 
usados para testar o desenho 

• Mais barato que testes com utilizadores 

• Sao uteis apenas para sistemas com 
tarefas previsiveis 
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Modelos Preditivos 



• Aplicagao divide-se em duas fases 
- Determinagao da sequencia pela qual a 
actividade e realizada 

-Analise dos passos da sequencia para 
determinar medidas de usabilidade 

• Tempo para realizar cada passo 

• Passos onde podem ocorrer erros 
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Tipos de Modelos Preditivos 



• Modelos Hierarquicos 

- Representam a estrutura da tarefa e dos 
objectivos 

- Modelos a estudar: GOMS e CCT 

• Modelos Fisicos e de Dispositivo 

- Representam capacidades psicomotoras 

- Modelo a estudar: KLM 

• Modelos Linguisticos 

- Representam a gramatica de interacgao pessoa- 
maquina 
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Modelos Hierarquicos 



• Modelam processamento mental 

• Subdividem recursivamente os objectivos 

• Exemplo: Fazer uma Reserva 

• Efectuar Reserva 

-Saber horario voo 

• Fazer chamada telefonica 

- Obter numero TAP 

» Consultar paginas amarelas 

- Cons.Categoria Comp.Aereas 

- Pesquisa linear da categoria 

• Usar telefone 
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Questoes Modelos 


Hierarq 


uicos 


• Granularidade 


- Onde comecar? 






- Onde parar ? 






• Conflitos 






- Estrategias alternativas. 


Diferentes rr 


etodos 


para fazer o mesmo? 






- Interaccoes entre subta 


refas 




• Erros 






- Como tratar os erros de 


interaccao ? 
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GOMS - Goals, Operators, Methods, Selection 



• Card, Moran, Newell: 1983 

• Goals - Objectivo da interaccao 

- Podem ser divididos em subobjectivos 

- Exemplo: Passar palavras "gato preto" da frase 
"0 gato preto saltou o muro." para Bold 

• Objectivo: Passar palavras para Bold 

• Dois subobjectivos: 

- Seleccionar palavras 

- Aplicar o Bold 
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GOMS - Goals, Operators, Methods, Selection 



• Operators - Accoes basicas para atingir os 
objectivos 

- Exemplo: Mover o cursor do rato; Carregar no 
botao do rato; Carregar numa tecla 

- Um Goal e obtido e urn Operator e executado. 

• Methods - Sequencia de Operators para 
atingir um objectivo. 

• Selection - Operador de escolha de metodos 
quando existe mais que um disponivel. 

- Ex. Aplicar Bold usando teclado ou menus. 



- Avaliagao Preditiva 



Como se faz Analise GOMS 



Gerar descrigao da tarefa 
-Identificar objectivo de alto-nivel 
- Escrever metodo para atingir objectivo 

(pode ter subobjectivos) 
-Escrever metodos para subobjectivos 

• Isto e recursivo 

• Parar quando chegar a operadores 

Avaliar a descrigao da tarefa 
Aplicar resultados a IU 
Iterar 
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GOMS (Exemplo) 



GOAL: Passar-GatoPreto-Bold 
GOAL: Seleccionar-Palavras 
M over -cursor -i ni cio-gato 
Carregar-sem-libertar-botao-esquerdo-rato 
M over -cursor -fi m-preto 
Libertar-botao-rato 

[Select 

GOAL: Aplicar-Bold-Teclado 

Carregar -Control -sem-libertar 

Carregar-B 

Libertar-Control 

GOAL: Aplicar-Bold-Menu 

Mover-cursor -Menu-Format 

Carregar-sem-libertar-botao-esquerdo-rato 
M over -ate-opcao-B old 
Libertar-botao-rato ] 

Regras: 

Regra 1: Usar Aplicar-Bold-Teclado se utilizador experiente 
Regra 2: Usar Aplicar-Bold-Menu se utilizador nao experiente 



- Avaliagao Preditiva 
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GOMS 



• Decomposigao de objectivos: 

Tarefa alto nivel -> tarefas individuals 

- Requer conhecimento detalhado da 

• estrategia utilizador 

• tarefa 

• domfnio do problema 

• A sua utilizagao pode produzir Medidas de 
desempenho 

- Boas para utilizadores experientes 

- Nao tao boas para inexperientes 
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GOMS (Exemplo Real) 



• Nynex empresa telefonica EUA 

• Queriam instalar novo sistema p/ operadores 

• Analise GOMS detalhada para avaliar acgoes 
ao estabelecer uma chamada 

• GOMS + diagramas de PERT (modelar 
operagoes em paralelo) 

- Identificar caminho critico 

• Conclusao: Novo sistema mais lento! 

- Pouparam Milhoes de dolares!! 
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CCT - Cognitive Complexity Theory 



• Kieras+Polson, 1985 

• Baseado em regras 

• Maior capacidade preditiva que GOMS 

• Duas descrigoes paralelas 
-Utilizador - semelhante ao GOMS 
-Sistema (Dispositivo) 

• Automatos finitos 
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CCT - Diferencas para GOMS 



• Pode representar acgoes mais complexas 
que GOMS 

• Modelo de execugao paralela 

- Suporta regras concorrentes 

• Regras para novigos e regras para peritos 

• Permite modelar erros 

• Permite medir complexidade das IU 

- Profundidade da pilha de objectivos (GOALS) 

- Numero de regras 

- Mais Regras => IU mais complexa! 
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Problema Modelos Hierarquicos 



• Problema de Fecho - Ex.: Levantar €€ na ATM 

• GOAL : Obter €€ 

- GOAL : USAR-MB 

» Inserir-Cartao 
» Digitar-Codigo 
» Sel-levantamento 

- GOAL : LEVANTAR-€€ 

» Digitar-ee 
» Retirar-ee 
-GOAL: RETIRAR-CARTAO 
» Retirar -Cartao 
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Problema de Fecho Transaccao 



• Objectivo: LEVANTAR-€€ 

• Objectivo: RETIRAR-CARTAO 

• Transacgao completa 

-ao retirar €€ 

-mas cartao ainda na ATM ? 

• Solugao: FOR£AR utilizador a retirar 
cartao ANTES de retirar €€ 

• Problema subsiste com os recibos :-( 
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KLM - Keystroke-Level Model 



• Modela interaccoes ao nivel fisico do dispositivo 

• Baseado no conhecimento empirico do sistema 
psicomotor humano 

• Consegue prever desempenho dos utilizadores na 
execucao das tarefas 

• Aplica-se a interaccoes elementares (poucos 
comandos - dezenas) 

• Semelhante a mini-GOMS (Metodo ja seleccionado) 

• Usa-se em conjunto com GOMS 
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Operadores de Ext 


>cucao 


• Objectivo KLM 


- determinar os tempos de 


execugao de comandos 


• Tempo de execugao 






T exe = T K + T B + T p + T H + 


T D + 


T M + T R 


• Operadores 






K - premir uma tecla 




(fisico-motor) 


B - premir botao rato 




(fisico-motor) 


P - apontar, mover rato 




(fisico-motor) 


H - localizar rato/teclado 




(fisico-motor) 


D - desenhar com rato 




(fisico-motor) 


M - Preparacao mental p/ a 


ccao 


(Mental) 


R - resposta do sistema 




(Sistema) 
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Valores Tipicos dos 


Operadores 

de escrita) 


• T K (depende da velocidade 


• 0,08 ~ 0,12 s (0 melhor 


- Bom) 


• 0,20 ~ 0,28 s (medio) 




• 0,50 ~ 1,20 s (Mau) 




•T B 




• 0,1 s (down/up) 




• 0,2 s (click) 




• T p = 1,10 S (media) dado 


pela Lei de Fitts 


• T H = 0,4 S 




• T D = ? (variavel) 




• T M = 1,35 s 




• T R = ? (medir) 
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Exemplo 



GOAL: Passar-GatoPreto-Bold 
GOAL: Seleccionar-Palavras 
Mover -cursor -inicio-gato 
Carregar-sem-libertar-botao-esquerdo-rato 
Mover -cursor -fim-preto 
Libertar-botao-rato 

[Select 

GOAL: Aplicar-Bold-Teclado 

Carre gar-Control-sem-libertar 

Carregar-B 

Libertar-Control 

GOAL: Aplicar-Bold-Menu 

Mover -cursor -Menu-Format 
Carregar-sem-libertar-botao-esquerdo-rato 
Mover-ate-opcao-Bold 
Libertar-botao-rato ] 

Regras: 

Regra 1: Usar Aplicar-Bold-Teclado se utilizador experiente 
Regra 2: Usar Aplicar-Bold-Menu se utiiizador nao experiente 
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Exemplo Bold: Ctrl-B vs Menu 



Seleccionar Palavras 



Localizar rato 


H 


0,4 


Apontar palavra "gato" 


P 


1,1 


Duplo-click e nao libertar 


B 


0,3 


Mover rato para "preto" 


P 


1,1 


Libertar botao rato 


B 


0,1 


Subtotal 




3,0 



uso de aceleradores 
reduz o tempo em cerca 
de 1 segundo! (nopiorcaso) 



Menu Format (5,4seg) 



Apontar menu Format 


P 


1,1 


Carregar botao rato sem 
libertar 


B 


0,1 


Mover para Bold 


P 


1,1 


Libertar botao rato 


B 


0,1 


Subtotal 




2,4 



Ctrl-B (4,5seg) 



Carregar Control 


K 


0,5 


Teclar "B" 


K 


0,5 


Libertar Control 


K 


0,5 


Subtotal 




1,5 
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Caracteristicas e Vantagens 

• Previsoes sao apenas aproximagoes 

• O seu valor esta em permitir comparagoes 
de solugoes 

• Rapidamente identificamos a solugao mais 
rapida 

• Mais barato que testes com utilizadores 

• Nao e necessario construir sistema 
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Conclusdes 



• Praticamos Avaliagao Heunstica 

• Consolidamos resultados 



Modelos para Avaliagao Preditiva 

- Modelam Interacgao pessoa-sistema 

- Permitem estimar tempos de interacgao 

- GOMS: Goals, Operators, Methods, Selection 

• Baseado em decomposicao hierarquica 

- KLM: Keystroke Level Model 

• Operacoes atomicas 
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Proxima Aula 



• Estilos de Interacgao 
-Linguagem de Comandos 
-Menus 

-Lingua Natural 
-Pergunta Resposta 
-Formularios 
-Manipulagao Directa 
-Novos Paradigmas 

• Ler HCI, Cap. 3, Alan Dix 
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